Columbia có nhiều cựu sinh viên đáng chú ý, trong đó có 5 nhà Khai Quốc Hoa Kỳ và tác giả của Hiến pháp Hoa Kỳ, 4 tổng thống Hoa Kỳ, 125 người đoạt giải Pulitzer, 39 người đoạt giải Oscar,[37] 101 thành viên Viện Hàn lâm Khoa học Quốc gia Hoa Kỳ.[38] Trường cũng đã đào tạo 26 nguyên thủ quốc gia (ngoài Mỹ).

Columbia xếp thứ hai trên thế giới, sau Harvard, về số lượng cựu sinh viên là tỷ phú.[39][40] Các cựu sinh viên của Columbia đã nắm các vị trí hàng đầu ở Phố Wall và giới doanh nghiệp toàn cầu với những nhân vật đáng chú ý như nhà đầu tư Warren Buffett,[41] Gia đình Astor,[42][43] CEO PBS và NBC Larry Grossman,[44] Chủ tịch Walmart S. Robson Walton,[45] Giám đốc Bain Capital Jonathan Lavine.[46][47] Lãnh đạo của công ty hàng đầu trong danh sách Fortune 500 từng theo học tại Columbia bao gồm James P. Gorman của Morgan Stanley,[48] Robert J. Stevens của Lockheed Martin,[49] Philippe Dauman của Viacom,[50] Ursula Burns của Xerox,[51] và Vikram Pandit của Citigroup.[52]

Về khoa học và công nghệ, các cựu sinh viên Columbia bao gồm người sáng lập IBM Herman Hollerith,[53] người phát minh đài FM Edwin Armstrong,[54] nhà phát triển tàu ngầm hạt nhân Hyman Rickover Francis Mechner,[55] người sáng lập Google Kai-Fu Lee,[56] nhà khoa học Stephen Jay Gould,[57] Robert Millikan,[58] người phát minh laser Heli-neon Ali Javan và Mihajlo Pupin,[59] kỹ sư trưởng của tàu điện ngầm Thành phố New York William Barclay Parsons,[60] nhà triết học Irwin Edman [61] và Robert Nozick,[62] nhà kinh tế học Milton Friedman,[63] nhà tâm lý học Harriet Babcock,[64] và nhà xã hội học Lewis A. Coser và Rose Laub Coser.[65][66]

Trong số những người Việt nổi tiếng có Thiền sư Thích Nhất Hạnh từng học thạc sĩ tôn giáo tại Chủng viện Thần học Union (thuộc Đại học Columbia) và sau đó giảng dạy tại đây trong thập niên 1960.[67]

• Các cựu sinh viên đáng chú ý của Đại học Columbia bao gồm:
• Barack Obama: Tổng thống thứ 44 của Hoa Kỳ, người thắng giải Nobel hòa bình 2009
• Dwight D. Eisenhower: Tổng thống thứ 34 của Hoa Kỳ
• Theodore Roosevelt: Tổng thống thứ 26 của Hoa Kỳ, người thắng giải Nobel Hòa bình năm 1906
• Franklin D. Roosevelt: Tổng thống thứ 32 của Hoa Kỳ
• Alexander Hamilton: Cha lập quốc Hoa Kỳ, Bộ trưởng Ngân khố Hoa Kỳ đầu tiên
• John Jay: Cha lập quốc Hoa Kỳ, Chánh án Tòa án Tối cao đầu tiên của Hoa Kỳ
• Gouverneur Morris: Cha lập quốc Hoa Kỳ, tác giả của Hiến pháp Hoa Kỳ, Thượng nghị sĩ Hoa Kỳ từ New York
• Madeleine Albright: nữ Ngoại trưởng đầu tiên của Hoa Kỳ
• BR Ambedkar: Cha đẻ của Ấn Độ, tác giả Hiến pháp Ấn Độ
• Thiền sư Thích Nhất Hạnh: người đưa ra khái niệm "Phật giáo dấn thân," được đề cử Giải Nobel Hòa bình năm 1967[67]
• Warren Buffett: Giám đốc điều hành của Berkshire Hathaway, một trong những người giàu nhất thế giới
• Neil Gorsuch: Phó Chánh án Tòa án Tối cao Hoa Kỳ
• Charles Evans Hughes: Chánh án Tòa án Tối cao Hoa Kỳ thứ 11, Bộ trưởng Ngoại giao Hoa Kỳ thứ 44, Thống đốc New York thứ 36
• William Barr Tổng chưởng lý Hoa Kỳ thứ 77 và 85
• Eric Holder: Tổng chưởng lý Hoa Kỳ thứ 82
• Ruth Bader Ginsburg: Phó Chánh án Tòa án Tối cao Hoa Kỳ
• Hamilton Fish Bộ trưởng Ngoại giao Hoa Kỳ thứ 26, Thượng nghị sĩ Hoa Kỳ từ New York, Thống đốc thứ 16 của New York
• Julian S. Schwinger: người đoạt giải Nobel về lý thuyết trường lượng tử, một trong những nhà vật lý vĩ đại nhất của thế kỷ 20
• Robert A. Millikan: người đoạt giải Nobel nhờ phát minh về đo lường điện tích cơ bản
• Milton Friedman: Người đoạt giải Nobel Kinh tế
• Simon Kuznets: Người đoạt giải Nobel kinh tế, phát minh ra khái niệm về tổng sản phẩm nội địa (GDP)
• Robert Kraft: tỷ phú, chủ sở hữu của New England Patriots, Chủ tịch kiêm Giám đốc điều hành của Tập đoàn Kraft
• Herman Hollerith: nhà phát minh, đồng sáng lập IBM
• Richard Rodgers: nhà soạn nhạc từng đoạt các giải Emmy, Grammy, Oscar, Tony và Pulitzer